一篇劃時代論文,催生出ChatGPT!《Attention Is All You Need》作者們現在在哪?
一篇劃時代論文,催生出ChatGPT!《Attention Is All You Need》作者們現在在哪?

2017年,Google以一篇劃時代論文《Attention Is All You Need》,替今日的AI風潮打下基礎。

論文中的語言模型Transformer,是ChatGPT、語言模型GPT背後的關鍵架構。Transformer最重要的突破,除了語言模型的運作流程之外,就是「平行化」,讓很多處理工作可以在同一時間完成,讓算力有了用武之地。史丹佛大學研究人員在2021年一篇論文中點出了Transformer模型的重要性:「它不僅推動了AI領域的典範轉移,更擴大了對AI可能性的想像。」

Transformer AI模型
Google在2017年一篇劃時代研究論文《Attention Is All You Need》中,介紹了他們開發的Transformer語言模型,此模型透過強大神經網路,能夠學習文字、影像資料間的連續關係和深層意義,總而言之,它讓AI更像了一個真正的「人」。

而在該篇論文中共有8名作者,在Transformer問世後至今6年的時間,他們都在做些什麼?

開發Transformer模型的人陸續離開Google,成為新生代矽谷創業家

論文《Attention Is All You Need》的作者,現在都在做什麼?
開發Transformer的工程師們,幾乎都紛紛出走Google、自立門戶,直至今日,他們創立的新創募資總金額來到10億美元,在矽谷發揮著舉足輕重的影響力。
圖/ Meet 創業小聚

撰寫《Attention Is All You Need》這篇論文的8位工程師和科技專家,幾乎都陸續離開了Google,朝向下一個目標邁進。

作者1:Illia Polosukhin轉向區塊鏈發展,創辦NEAR Protocol

Illia Polosukhin離開Google後,創辦了去中心化平台NEAR Protocol。Illia Polosukhin深刻體會到,如果引領科技的組織,全面掌控了網路時代的數據,那麼人們就可能無法再自由取得、使用資料,這也是他毅然決然離開Google的原因。

為了讓網際網路的生態保持創新,他打造了以區塊鏈為基礎的去中心化平台NEAR Protocol,讓大眾都可以在這個平台上自由的開發應用程式,揮灑創意。

作者2:Aidan Gomez以對抗壟斷為目標,開發大型語言模型API公司Cohere

2019年9月,Aidan Gomez創辦了Cohere,Cohere也以對抗大型科技公司壟斷AI研究為目標,建立了幫助企業建構大型語言模型的API,它還在2022年啟動一間Cohere For AI的非營利性研究實驗室,致力讓大眾享有AI技術服務。根據《路透社》報導,Cohere估值已經來到60億美元。

作者3:Jakob Uszkoreit投入生技領域,創辦Inceptive

而被許多人視為是開發Transformer的主要工程師Jakob Uszkoreit,則在2021年辭職投入了生技領域,他所創辦的Inceptive,透過深度學習技術設計核糖核酸(RNA)分子,用以開發新興藥物,目前已募集了2,000萬美元的資金。

作者4:Niki Parmar和Ashish Vaswani共同創辦了AI新創Adept

Niki Parmar和Ashish Vaswani也在2021年底相繼離開Google,共同創辦了Adept。Niki Parmar曾在《財富》的採訪中透漏,只有創業才能真正讓她實踐開發產品與科學研究的理想。

而Adept建構的ACT-1,正是基於他們先前研究的Transformer進一步優化的大型模型,能學習人們瀏覽網頁和使用軟體的方式,替人們把文字指令轉換為一系列動作。Adept現階段估值已來到10億美元,總募資額高達4.15億美元。

作者5:Noam Shazeer要讓虛擬人物有靈魂,創辦Character.ai

在Google工作20年的Noam Shazeer,同樣選擇在2021年底創業,和同為Google工程師的朋友一起打造了對話式AI平台Chracter.ai,這個平台能讓使用者和AI合作一同編寫對話,並且生成角色扮演式的文字回覆。它近日也剛以10億美元的估值獲得了1.5億美元的投資金。

作者6:Lukasz Kaiser跳槽加入OpenAI,Llion Jone則繼續留在Google

其餘兩人,Lukasz Kaiser和Llion Jone,前者在2021年時跳槽加入OpenAI,後者則選擇繼續待在Google,他是目前8位撰文的研究成員中,唯一還待在Google的工程師。

總結來說,開發Transformer的8位工程師,自立門戶的並不在少數。直至今日,他們創立的新創募資總金額來到10億美元,在矽谷發揮著舉足輕重的影響力。這些新創們的重要成績,似乎有一點2000年「PayPal 黑幫」(PayPal Mafia)的影子。

從PayPal到Google,矽谷下一個黑幫會是誰呢?

矽谷黑幫,指的是企業中的重要人才離開後,把過往的人脈、經驗、技術、資源投入到新的項目中,創造出更廣闊的網絡。

例如PayPal創辦人Peter Thiel現在成立了大數據分析公司Palantir,還投資培育了Facebook創辦人祖克柏等年輕新秀,其他PayPay核心成員如Keith Rabois、Reid Hoffman等則分別是FinTech新創Square的營運長、LinkedIn的創辦人等等。

其實,Google在2010年前後,也曾出現不同於PayPal創業形式的黑幫現象,《富比士》將它稱作「高階主管的Google黑幫」。當時,Google內部各個高階主管紛紛跳槽到像Facebook、Twitter以及Yahoo等科技公司,或離職成為專業新創投資人,劇烈的成員變動同樣為當時的科技業帶來影響與熱議。

現在,以《Attention Is All You Need》論文作者們為首的創業潮,又出現了另一個黑幫的影子,他們就像是為科技產業引入生成式AI的引導者,讓基於Transformer模型而生的生成式AI新創在矽谷遍地開花。

但是,真正讓這波生成式AI風潮成形的並不是Google,而是另一個透過ChatGPT將AI發揚光大的修行者——OpenAI。

OpenAI將催生下一波AI黑幫?

因ChatGPT備受關注的OpenAI,在過去5年裡,迎來30多位高層、工程師和研究員離職潮,他們多數都創辦了自己的公司,這些新創募資金額總計也超過了10億美元。或許我們正見證OpenAI黑幫成形的過程。

舉例來說,幫OpenAI開發了GPT-2和GPT-3模型的前研究副總監Dario Amodei,以及安全與政策副總監Daniela Amodei,就帶領OpenAI將近10位核心員工,另外創辦了以研究為導向的新創Anthropic,強調AI的安全性和共享性,發表了AI研究的基礎規則。

OpenAI前研究科學家Peter Chen也離開了OpenAI,他和加州大學柏克萊分校教授Pieter Abbeel等人聯手創辦Covariant,專注在創造新型AI機器人解決方案。而OpenAI前工程總監David Luan,也是和Google前研究員Niki Parmar和Ashish Vaswani共同創辦Adept的成員之一。

silicon valley_shutterstock_448884280Resize 1280.j
多數人認為,矽谷的OpenAI的黑幫已成形,這些從OpenAI出走的新創創辦人,現階段成為了矽谷和創投的新寵兒。
圖/ Shutterstock

矽谷中每隔一段時間迎來的創業風潮,就是持續創新的關鍵。因此,處於現在進行式中的Transformer、OpenAI黑幫,就是最值得密切關注的對象。

參考資料:[Ayosta]、[Analytics India Magazine]、[NewsBytes

本文授權轉載自:創業小聚

關鍵字: #創業 #創新創業
往下滑看下一篇文章
Computex 大展台灣科技實力,看圓剛、TRYX、Silicon Power 如何透過亞馬遜布局全球市場?
Computex 大展台灣科技實力,看圓剛、TRYX、Silicon Power 如何透過亞馬遜布局全球市場?

2026年,台北國際電腦展(Computex)再度引爆全球科技熱潮,來自世界各地的業者、買家與媒體蜂擁而至,讓台北成為最受矚目的世界科技中心。

在這場盛會背後,除了有大眾熟悉的半導體、晶片代工等產業巨頭 ,還有一群具深厚底蘊的台灣科技品牌,早已利用亞馬遜全球開店,跨越線下通路的傳統壁壘。例如:用一套影音設備點燃創作者經濟的圓剛、以散熱器重新定義電競美學的TRYX,以及提供完整的記憶卡方案陪伴全球用戶記錄每個珍貴瞬間的廣穎電通,逐步以產品征服全球市場。

進軍跨境電商市場,圓剛精準觸及數位原生客群

對許多造訪寶島的旅客來說,圓剛科技(AVerMedia)是踏入國門遇到的第一個台灣品牌,「不管在桃園、松山、台中、高雄機場,旅客通關時抬頭看的那顆鏡頭,就是圓剛產品。」資深處長Betty Kuo透露,圓剛成立36年來對品質有著近乎「龜毛」的堅持,要求研發、製造都要留在台灣,深信企業有著不容妥協的使命與社會責任。

這份硬實力也充分展現在今年的Computex。圓剛除了展示影音擷取本業,還秀出攜手Nvidia耕耘多年的邊緣運算(Edge AI)量能,利用AI晶片打造能辨識車流的智慧紅綠燈、救護車優先通行等智慧城市基礎建設和服務。

amazon_2.jpg
圓剛攜手Nvidia,利用AI晶片打造能辨識車流的智慧紅綠燈,可以判別讓救護車優先通行或是依據交通狀況調節秒數,為智慧城市提供更多可能。
圖/ 數位時代

在深耕線下B2B的大型基礎建設之餘,面對線上B2C的消費市場,圓剛同樣具備精準洞察。近年隨著創作者經濟爆發,圓剛發現,自家產品的主力客群,多為千禧世代、Z世代等相當依賴線上消費的數位原生族群。看準亞馬遜的高觸及和曝光率,圓剛決定透過亞馬遜全球開店,進軍跨境電商市場,「當企業進軍陌生的海外市場,亞馬遜的物流系統、商機探測器等工具,能大幅降低進入門檻。」Betty Kuo說。

事實上,圓剛就是將各項工具用到極致的最佳案例。圓剛科技課長Jimmy Liu舉例,團隊在線下展會發現美國玩家對「寶可夢卡牌」二手交易、拆卡直播的熱潮後,便立刻回到亞馬遜賣家後台,透過數據交叉驗證需求,接著迅速重新包裝一款能同時拍攝玩家臉部表情、卡牌等細節的雙鏡頭攝影機,結果一上線便被搶購一空。又或者是圓剛直接將消費者購物後留下的評論,視為內部研發的重要KPI,Betty透露,如果新產品的評價掉到4.2顆星以下,就會被團隊視為「大事」,立即啟動跨部門檢討,徹查問題,「那些最真實的回饋,其實正是我們研發、創新的來源之一。」

憑藉著出色的研發、製造實力,再搭配亞馬遜的後台數據、多元工具,2025年Prime Day,圓剛創下年增長59%的佳績;2026年第一季,即便競爭對手狂砸行銷預算,圓剛依然靠著產品硬實力和精準的高階產品定位,寫下年增長6%的成績。

amazon_3.jpg
圓剛科技透過亞馬遜後台數據與線下展會洞察,敏銳捕捉到玩家對「寶可夢卡牌」拆卡直播的熱潮,迅速推出能同時拍攝玩家臉部表情與卡牌細節的雙鏡頭攝影機(Dual-View Live Streaming),一上線即被搶購一空。
圖/ 數位時代

TRYX 注入創新靈魂,將散熱器化身藝術品

有別於圓剛身處的多媒體視訊產業,電腦零組件(PC DIY)市場早已是一片紅海、競爭激烈,也因此,新銳品牌TRYX的崛起,顯得格外引人注目。

amazon_4.jpg
TRYX全球電商營運負責人Paso分享品牌如何憑藉來自亞馬遜的數據洞察,精準預判市場狀況與玩家痛點,成功將具備美學與科技感的裸眼 3D 水冷散熱產品推向全球市場。圖為本次重量級新品「HOLO全息視覺顯示水冷散熱器」,利用佩珀爾幻象(Pepper’s Ghost),將GIF動畫、短影音直接投射在散熱器上。
圖/ 數位時代

TRYX創辦人Nelson認為,電腦零組件市場長年深陷價格、效能戰,讓許多品牌失去「創新的靈魂」。但機會就藏在痛點中,為了改善市場現況,Nelson先是融合了設計、美學和頂尖技術,打造出全球第一款裸眼3D水冷散熱器PANORAMA、融入家居布面設計的FLOVA機箱等代表性產品;今年Computex中,TRYX再端出重量級新品「HOLO全息視覺顯示水冷散熱器」,是利用佩珀爾幻象(Pepper’s Ghost),將GIF動畫、短影音直接投射在散熱器上,並和圖庫平台GIPHY合作,讓玩家能無限擴充素材,將冰冷的硬體化做藝術品。

有趣的是,這份創新並非憑空想像,而是來自亞馬遜的數據洞察。TRYX全球電商營運負責人Paso指出,TRYX採用了亞馬遜的「選品指南針」(Product Opportunity Explorer),「這就像我們的『市場雷達』。過去團隊決策可能只憑感覺,現在透過細分類目的銷售數據和趨勢,團隊能精準預判市場狀況,讓供應鏈更穩、現金流更健康。」

而「VINE評論工具」則是TRYX的「信任放大器」。團隊會邀請評測者,針對新品發表影片、照片與專業分析等回饋,這對整合了抗反光塗層、克服曲率折射等複雜工程技術的3D水冷散熱器來說,無疑是最具說服力的評價。

2024年,TRYX首度在亞馬遜上架高單價的螢幕水冷散熱器時,原先預估一天只能賣個3到5台,沒想到美國市場強大的購買力,加上團隊善用亞馬遜的各項工具拆解數據,讓單日銷量直接飆破20台;而TRYX進軍亞馬遜後僅1年,品牌營收便達到197%的成長,「亞馬遜的多站點優勢,讓我們只要專心把產品做好,就能在全世界找到最適合的市場!」Paso透露,接下來,TRYX預計再進軍德國、法國、英國等歐洲市場和亞太地區,「我們希望讓更多玩家,體驗到TRYX的創新精神。」

amazon_5.jpg
新銳品牌 TRYX 顛覆傳統電腦零組件市場,結合設計、美學與頂尖技術,將冰冷的硬體化做藝術品,為玩家帶來無限的視覺擴充體驗。
圖/ 數位時代

Silicon Power 建立即時地區化策略,開拓 B2B 商機

全球記憶體領導品牌Silicon Power看準線上通路的潛力,並為了貫徹「國際化品牌」的定位,將亞馬遜全球開店視為品牌跨境的關鍵,「Silicon Power每進入一個新市場,亞馬遜都是我們優先考量的線上通路選擇,因為它能迅速幫助我們建立品牌曝光和銷售體系。」Silicon Power Sales Deputy Manager Benson指出,透過亞馬遜賣家中心(Amazon Seller Central),採靈活的「地區化策略」,針對當地消費者習慣、法規稅務,即時調整價格和庫存。

amazon_6.jpg
看準線上通路潛力,Silicon Power將亞馬遜全球開店視為品牌跨境的關鍵,透過靈活的「地區化策略」即時調整價格與庫存,更運用 Amazon Business 功能敲開全球企業級 B2B 市場的大門。圖為Silicon Power 銷售副理 Benson(左)與董事長陳慧民(右)於 Computex 展位合影。
圖/ 數位時代

在行銷上,Silicon Power則善用亞馬遜廣告(Amazon ADs),精準設定投放目標、掌握搜尋趨勢。更重要的是,亞馬遜的「Amazon Business」功能,讓Silicon Power的醫院、教育機構等企業用戶,能以批量採購方式下單,等於敲開了B2B市場的大門,「這是一個關鍵轉折,因為我們不再只服務個人消費者,也能為企業客戶提供企業級需求的記憶體解決方案。」

正因從亞馬遜獲得了全方位數據,Silicon Power利用這份對消費者的理解,在今年的Computex中,跳脫了「單一產品框架」的思維,首度展出專為創作者打造的「CreatePro 系列」。團隊不盲目模仿競品,而是精準切入內容創作者的工作流程,將需求拆分為錄影、後製、備份、長期保存等四個階段,並為每個階段提供完整對應的儲存方案,「不是競爭者做什麼,我們就去做什麼,我們還是會利用從亞馬遜等平台獲得的數據,回到消費者需求,完整提供產品的解決方案。」Benson笑稱,如今,團隊已將「亞馬遜賣家學習中心」視為內部的成長基地,同仁會搭配亞馬遜的建議、策略,持續升級自身戰力。

amazon_7.jpg
廣穎電通跳脫單一產品框架,利用從亞馬遜等平台獲得的全方位數據回到消費者需求,精準切入內容創作者的工作流程,完整提供相對應的儲存方案。
圖/ 數位時代

對圓剛、TRYX和Silicon Power來說,在這場跨境出海的戰役中,亞馬遜不僅是銷售貨物的通路,更扮演了品牌向全球拓展的「加速」角色。從前期透過商機探測器,進行市場洞察、需求驗證,進而預判趨勢、調整選品、開發新品;到中期藉由真實的消費者評論和成熟的廣告系統,快速累積海外信任度、建立品牌;最後再利用強大的FBA物流網絡和多站點優勢,將台灣的創新產品遞送至全球,正是亞馬遜被視為出口跨境關鍵的原因。

從三家品牌的成功軌跡,可以看出科技產業的全球化趨勢,已從過去的「硬體代工製造」,邁向「數據驅動品牌」的階段。無論是哪一種產業,品牌只要專心將產品做到極致,搭配亞馬遜全球開店提供的成長與加速服務等,就能在全球找到最適合的市場,讓世界看見台灣的創新能量。

立即下載_亞馬遜 2026 消費性電子品類攻略手冊|掌握下一波成長動能

圖/ Amazon

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
代理式商務連動百兆商機
© 2026 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓